04. 学习率

学习率调整 #1

假设你在训练一个模型。如果训练过程的输出如下所示，你将如何调整学习率来提高训练性能？

Epoch 1, Batch 1, Training Error: 8.4181
Epoch 1, Batch 2, Training Error: 8.4177
Epoch 1, Batch 3, Training Error: 8.4177
Epoch 1, Batch 4, Training Error: 8.4173
Epoch 1, Batch 5, Training Error: 8.4169
SOLUTION: 提高学习率

学习率调整 #2

假设你在训练一个模型。如果训练过程的输出如下所示，你将如何调整学习率来提高训练性能？

Epoch 1, Batch 1, Training Error: 8.71
Epoch 1, Batch 2, Training Error: 3.25
Epoch 1, Batch 3, Training Error: 4.93
Epoch 1, Batch 4, Training Error: 3.30
Epoch 1, Batch 5, Training Error: 4.82
SOLUTION:
  • 降低学习率
  • 使用自适应学习率

Next Concept